SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
SWE-Bench ProMax：大规模多语言代码重构智能体基准
🧭 代码重构 Agent 评估基准
Shanghai Jiao Tong University · Peking University · The Hong Kong University of Science and Technology · Douyin Group · University of Chinese Academy of Sciences
构建多语言、大规模代码重构基准，通过严格清洗暴露模型短板，最佳解决率仅41.2%
📌 工作参考价值（4 点）
- 基准构建的严谨性可迁移：对测试用例的手动审查（剔除过严 / 过宽的测试）和问题描述的精确重写，可应用于推荐系统的离线评估中，避免因标注错误或模糊定义导致的模型能力误判。
- 协调多文件修改的思路：实例要求同时修改平均11.4个文件，类似推荐系统中需要跨阶段（召回、排序、重排）联合优化的场景，可启发多 Agent 协同编排的设计。
- 测试规模与真实任务的接近：平均261.6行代码的修改量远超市面基准，提示我们在构建推荐 Agent 评估任务时应尽量贴近线上复杂流程，避免琐碎的任务导致能力饱和。
- 业务可借鉴点有限：论文核心是代码重构，与电商推荐直接关联弱，但其暴露的大模型在长上下文、跨文件行为保持上的不足，对用 LLM 做推荐 Pipeline 自动编排有警示意义。